cGAN-based Manga Colorization Using a Single Training Image

The Japanese comic format known as Manga is popular all over the world. It is traditionally produced in black and white, and colorization is time consuming and costly. Automatic colorization methods generally rely on greyscale values, which are not present in manga. Furthermore, due to copyright protection, colorized manga available for training is scarce. We propose a manga colorization method based on conditional Generative Adversarial Networks (cGAN). Unlike previous cGAN approaches that use many hundreds or thousands of training images, our method requires only a single colorized reference image for training, avoiding the need of a large dataset. Colorizing manga using cGANs can produce blurry results with artifacts, and the resolution is limited. We therefore also propose a method of segmentation and color-correction to mitigate these issues. The final results are sharp, clear, and in high resolution, and stay true to the character's original color scheme.Comment: 8 pages, 13 figure

Intra-prediktion för videokodning med neurala nätverk

Intra-prediction is a method for coding standalone frames in video coding. Until now, this has mainly been done using linear formulae. Using an Artificial Neural Network (ANN) may improve the prediction accuracy, leading to improved coding efficiency. In this degree project, Fully Connected Networks (FCN) and Convolutional Neural Networks (CNN) were used for intra-prediction. Experiments were done on samples from different image sizes, block sizes, and block contents, and their effect on the results were compared and discussed. The results show that ANN methods have the potential to perform better or on par with the video coder High Efficiency Video Coding (HEVC) in the intra-prediction task. The proposed ANN designs perform better on smaller block sizes, but different designs could lead to better performance on larger block sizes. It was found that training one network for each HEVC mode and using the most suitable network to predict each block improved performance of the ANN approach.Intra-prediktion är en metod för kodning av stillbilder i videokodning. Hittills har detta främst gjorts med hjälp av linjära formler. Användning av artificialla neuronnät (ANN) skulle kunna öka prediktionsnoggrannheten och ge högre effektivitet vid kodning. I detta examensarbete användes fully connected networks (FCN) och convolutional neural networks (CNN) för att utföra intra-prediktion. Experiment gjordes på prover från olika bildstorlekar, blockstorlekar och blockinnehåll, och de olika parametrarnas effekt på resultaten jämfördes och diskuterades. Resultaten visar att ANN-metoder har potential att prestera bättre eller lika bra som videokodaren High Efficiency Video Coding (HEVC) för intra-prediktion. De föreslagna ANN-designerna presterar bättre på mindre blockstorlekar, men andra ANN-designs skulle kunna ge bättre prestanda för större blockstorlekar. Det konstaterades att prestandan för ANN-metoderna kunde ökas genom att träna ett nätverk för varje HEVC-mode och använda det mest passande nätverket för varje block

Intra-prediktion för videokodning med neurala nätverk

Intra-prediction is a method for coding standalone frames in video coding. Until now, this has mainly been done using linear formulae. Using an Artificial Neural Network (ANN) may improve the prediction accuracy, leading to improved coding efficiency. In this degree project, Fully Connected Networks (FCN) and Convolutional Neural Networks (CNN) were used for intra-prediction. Experiments were done on samples from different image sizes, block sizes, and block contents, and their effect on the results were compared and discussed. The results show that ANN methods have the potential to perform better or on par with the video coder High Efficiency Video Coding (HEVC) in the intra-prediction task. The proposed ANN designs perform better on smaller block sizes, but different designs could lead to better performance on larger block sizes. It was found that training one network for each HEVC mode and using the most suitable network to predict each block improved performance of the ANN approach.Intra-prediktion är en metod för kodning av stillbilder i videokodning. Hittills har detta främst gjorts med hjälp av linjära formler. Användning av artificialla neuronnät (ANN) skulle kunna öka prediktionsnoggrannheten och ge högre effektivitet vid kodning. I detta examensarbete användes fully connected networks (FCN) och convolutional neural networks (CNN) för att utföra intra-prediktion. Experiment gjordes på prover från olika bildstorlekar, blockstorlekar och blockinnehåll, och de olika parametrarnas effekt på resultaten jämfördes och diskuterades. Resultaten visar att ANN-metoder har potential att prestera bättre eller lika bra som videokodaren High Efficiency Video Coding (HEVC) för intra-prediktion. De föreslagna ANN-designerna presterar bättre på mindre blockstorlekar, men andra ANN-designs skulle kunna ge bättre prestanda för större blockstorlekar. Det konstaterades att prestandan för ANN-metoderna kunde ökas genom att träna ett nätverk för varje HEVC-mode och använda det mest passande nätverket för varje block

Intra-prediktion för videokodning med neurala nätverk

Intra-prediction is a method for coding standalone frames in video coding. Until now, this has mainly been done using linear formulae. Using an Artificial Neural Network (ANN) may improve the prediction accuracy, leading to improved coding efficiency. In this degree project, Fully Connected Networks (FCN) and Convolutional Neural Networks (CNN) were used for intra-prediction. Experiments were done on samples from different image sizes, block sizes, and block contents, and their effect on the results were compared and discussed. The results show that ANN methods have the potential to perform better or on par with the video coder High Efficiency Video Coding (HEVC) in the intra-prediction task. The proposed ANN designs perform better on smaller block sizes, but different designs could lead to better performance on larger block sizes. It was found that training one network for each HEVC mode and using the most suitable network to predict each block improved performance of the ANN approach.Intra-prediktion är en metod för kodning av stillbilder i videokodning. Hittills har detta främst gjorts med hjälp av linjära formler. Användning av artificialla neuronnät (ANN) skulle kunna öka prediktionsnoggrannheten och ge högre effektivitet vid kodning. I detta examensarbete användes fully connected networks (FCN) och convolutional neural networks (CNN) för att utföra intra-prediktion. Experiment gjordes på prover från olika bildstorlekar, blockstorlekar och blockinnehåll, och de olika parametrarnas effekt på resultaten jämfördes och diskuterades. Resultaten visar att ANN-metoder har potential att prestera bättre eller lika bra som videokodaren High Efficiency Video Coding (HEVC) för intra-prediktion. De föreslagna ANN-designerna presterar bättre på mindre blockstorlekar, men andra ANN-designs skulle kunna ge bättre prestanda för större blockstorlekar. Det konstaterades att prestandan för ANN-metoderna kunde ökas genom att träna ett nätverk för varje HEVC-mode och använda det mest passande nätverket för varje block

The Impact of Imbalanced Training Data for Convolutional Neural Networks

This thesis empirically studies the impact of imbalanced training data on Convolutional Neural Network (CNN) performance in image classification. Images from the CIFAR-10 dataset, a set containing 60 000 images of 10 different classes, are used to create training sets with different distributions between the classes. For example, some sets contain a disproportionately large amount of images of one class, and others contain very few images of one class. These training sets are used to train a CNN, and the networks’ classification performance is measured for each training set. The results show that imbalanced training data can potentially have a severely negative impact on overall performance in CNN, and that balanced training data yields the best results. Following this, oversampling is used on the imbalanced training sets to increase the performances to that of the balanced set. It is concluded that oversampling is a viable way to counter the impact of imbalances in the training data.Detta kandidatexamensarbete utför en empirisk studie av den påverkan ojämnt fördelad träningsdata har på bildklassificeringsresultat för Convolutional Neural Networks(CNN). Bilder från datamängden CIFAR-10, bestående av 60 000 bilder fördelade mellan 10 klasser, används för att skapa träningsdatamängder med olika fördelningar mellan klasserna. Exempelvis innehåller vissa mängder oproportioneligt många bilder av en klass, medan andra innehåller väldigt få bilder av en klass. Dessa datamängder används för att träna ett CNN, och nätverkets klassificeringsresultat noteras för varje datamängd. Resultaten visar att ojämt fördelad träningsdata kan ha en markant negativ påverkan på de genomsnittliga resultaten för CNN, och att balanserad träningsdata ger bäst resultat. Oversampling används på de ojämnt fördeladade träningsdatamängderna vilket resulterar i samma resultat som för den balanserade träningsdatamängden. Detta visar att oversampling är ett gångbart sätt att motverka effekterna av ojämnt fördelad träningsdata